Hoàng Văn Thụ trở về Việt Bắc làm chủ bút báo "Tranh đấu" ở miền thượng du. Sau đó ông gây dựng cơ sở đảng ở Vũ Nhai, Bắc Sơn. Chi bộ ghép được thành lập, trong đó có Chu Văn Tấn và Nông Văn Cún là những người chỉ huy khởi nghĩa Bắc Sơn sau này.

Thời kỳ 1936-1939, thời kỳ Mặt trận Thống nhất Dân chủ Đông Dương, còn gọi là thời kỳ Bình dân, sau một thời gian sang Trung Quốc để in văn kiện đại hội Đảng gửi về nước, tháng 2 năm 1937, ông về Cao Bằng lãnh đạo phong trào bình dân và viết báo Lao động. Sau đó, vì bị người Pháp theo dõi gắt gao, ông trốn sang Hương Cảng.

Giữa năm 1938, ông được Lê Hồng Phong giao nhiệm vụ về gặp Xứ ủy Bắc Kỳ tại Hà Nội để truyền đạt chủ trương thành lập Mặt trận Dân chủ chống phát xít ở Đông Dương. Sau đó Hoàng Văn Thụ được bầu vào Ban thường vụ Xứ ủy Bắc Kỳ, cùng với Trường Chinh và Hoàng Quốc Việt, Bí thư Liên xứ ủy Bắc Trung kỳ giai đoạn này là Hoàng Văn Nọn tức Hoàng Tú Hữu[3]. Sau đó ông lại được cử ra Hòn Gai, Uông Bí để củng cố cơ sở Đảng.

Đầu năm 1939, ông dự hội nghị Xứ ủy mở rộng do Tổng bí thư Nguyễn Văn Cừ triệu tập ở Vạn Phúc (Hà Đông) và được cử làm Bí thư Xứ ủy Bắc Kỳ. Thời gian hoạt động ở Hà Đông, cơ quan Xứ uỷ bị người Pháp theo dõi, khủng bố ráo riết. Để tránh bị lộ, ông thường xuyên phải cải trang và di chuyển, đi ở nhờ trong nhiều nhà dân và vận động được nhiều người tham gia, ủng hộ cách mạng. Nhiều người biết đến ông với những cái tên như "đồng chí Bảy", "anh Lý".

Ngoài công việc Xứ ủy, ông còn được giao trực tiếp phụ trách Thành ủy Hà Nội. Do bị nội phản, Thành ủy luôn bị phá. Từ năm 1939 đến 1943, ông đã 10 lần khôi phục lại Thành ủy Hà Nội.

Tháng 11 năm 1940, tại Hội nghị Trung ương Đảng cộng sản Đông Dương lần thứ 7 diễn ra tại làng Đình Bảng, Từ Sơn, Bắc Ninh, ông cùng Trường Chinh và Hoàng Quốc Việt được bầu là Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá I, Trường Chinh làm quyền Tổng Bí thư.

Chiến tranh thế giới thứ hai nổ ra, thực dân Pháp ở Đông Dương tăng cường đàn áp. Hàng ngàn đảng viên đảng Cộng sản bị bắt giam. Đảng Cộng sản Đông Dương chủ trương rút vào hoạt động bí mật, ông cùng Trường Chinh phải lặn lội đi nhiều tỉnh để chắp nối trong cảnh vô cùng thiếu thốn và gian khổ.

Phát xít Nhật đem quân tràn vào Đông Dương. Cuộc khởi nghĩa Bắc Sơn nổ ra, dẫn đến việc thành lập Cứu quốc quân do Chu Văn Tấn chỉ huy. Ông cùng Trường Chinh và Trần Đăng Ninh đã kịp thời lên Lạng Sơn chỉ đạo để Cứu quốc quân, lúc đó chưa đủ mạnh, rút vào bí mật, để bảo toàn lực lượng.

Đầu năm 1941, ông được cử sang Tịnh Tây (Trung Quốc) dự đại hội đoàn thể cách mạng Việt Nam để bàn việc thống nhất các lực lượng cách mạng trong và ngoài nước. Ông đã gặp Nguyễn Ái Quốc và nhận trách nhiệm cùng Tỉnh ủy Cao Bằng đón Nguyễn Ái Quốc về nước.

Sau đó ông nhận lệnh của Trường Chinh sang Quảng Tây đón Nguyễn Ái Quốc, nhưng chuyến đi đó chưa đón được. Tháng 4 năm 1941, Nguyễn Ái Quốc từ Vân Nam qua Quảng Tây về Cao Bằng, ở tại hang Pắc Pó, nơi có dòng suối mà tiếng địa phương gọi là Khuổi Nậm. Hoàng Văn Thụ cùng Trường Chinh, Hoàng Quốc Việt, Chu Văn Tấn từ Việt Nam sang Long Châu (Quảng Tây, Trung Quốc) rồi đi vòng về Cao Bằng. Tại Pắc Bó, tháng 5 năm 1941, ông cùng đoàn đại biểu Xứ ủy Bắc Kỳ dự Hội nghị Trung ương lần thứ VIII và được cử vào Ban thường vụ Trung ương Đảng. Đại hội thành lập Việt Nam cách mạng đồng minh (Việt Minh) đã cử ông vào Lâm thời Tổng bộ Việt Minh. Ông được phân công là Thường vụ trung ương phụ trách binh vận.

Mặt trận Việt Minh ra đời, phong trào chống Pháp-Nhật lên cao. Đảng Cộng sản Đông Dương một mặt xây dựng căn cứ ở Việt Bắc, mặt khác đẩy mạnh phong trào ở các tỉnh. Ban Thường vụ đặt cơ quan bí mật ngay tại quận 5 Hà Nội. Hoàng Văn Thụ thường cùng ở với Tổng bí thư Trường Chinh. Ông tích cực hoạt động binh vận (vận động binh lính địch) ở Hà Nội. Trong khi đang vận động các binh lính, do bị chỉ điểm, ông bị bắt tháng 8 năm 1943 tại ngõ Nam Diệm khu Tám Mái[4].